Opgebouwd rond een middeleeuwse donjon onderging het kasteel van Gesves in de loop van de 19de eeuw een grondige facelift. Van de primitieve ruwbouw bleef slechts een deel over.
Oorspronkelijk dateert het eeuwenoude kasteel al van 987 en was het kasteel afhankelijk van de abdij van Verdun. Vanaf 1091 wordt het afhankelijk van het kapittel van Huy. Het delegeert er een afgevaardigde en de belastingen worden al vlug een erfrecht. In 1326 verkrijgt Evrard de Bolland het kasteel van de graven van Luxemburg die het kort in hun bezit hadden. De vrouw van E. de Bolland krijgt er nog een stuk van Gesves bovenop. In 1375 werd een donjon toegevoegd en werd het kasteel omgebouwd tot ‘versterkte burcht’. In 1712 werden de grachten gedeeltelijk gedempt en de ophaalbrug werd weggehaald. Het geheel wordt omsloten door muren en vierkante hoektorens die deels door de Samson omsloten worden.
Het kasteel omvat een massieve donjon van drie verdiepingen hoog en ernaast staat nog een ronde toren uit de 17de eeuw. Het hoofdverblijf, met een vierkante toren in het midden, is in een traditionele L-vorm aangelegd en stamt eveneens uit de 17de eeuw. Het kasteel, met zijn tuinen van verschillende architectuur, wordt dan vooral een ontspanningsplaats.
Het huidige kasteel dateert van 1870. De oude donjon maakt nu deel uit van de muren aan de achterkant van het kasteel. Thans is het kasteel in handen van Baron Stanislas Houtart.